Statistical Inference for Rank Allocation in Low-Rank Adaptation
基于统计推断的LoRA秩分配方法
🧭 参数高效微调 · 统计推断
将秩分配视为假设检验问题，利用p值驱动剪枝，实现更稳定的参数预算分配
📌 工作参考价值（4 点）
- 在推荐或对话模型用LoRA微调时，可用统计检验代替基于梯度的启发式重要性分数，自动决定各层/模块的秩分配，避免人工调参与欠佳分配。
- 该方法为每个可学习的低秩组件提供明确的p值，可直接设定显著性阈值进行剪枝，适合在资源受限的在线服务中动态调节模型容量。
- 基于优化器轨迹的渐近正态理论（覆盖AdamW等常用优化器）为下游应用中的梯度统计量提供了可靠分布假设，可用于构建更准确的早期停止或在线不确定性估计。
- 统计检验驱动的分配规则对超参数不敏感，经验诊断表明其稳定性优于AdaLoRA等灵敏度方法，在电商搜索/推荐模型的持续微调场景中能减少重复调参成本。